New embedding models and API updates
ポイント
新しいAPIは、従来より良い性能
https://scrapbox.io/files/663f00701bba46001d0ab308.png
そして、より安い
text-embedding-3-largeは3072次元
dimensions APIパラメータを設定することで、ベクトルDBの対応次元数に応じて、Embeddingを調整できる 例えば、最大1024次元の埋め込みしかサポートしていないベクトルデータストアを使用する場合、開発者は、最高の埋め込みモデルであるtext-embedding-3-largeを引き続き使用し、dimensions APIパラメータに1024の値を指定することができます。
これにより、埋め込みが3072次元から短縮され、ベクトルサイズを小さくするために精度を多少犠牲にすることになります。
概要
私たちは、2つの新しい埋め込みモデルを導入しています。より小さく非常に効率的なtext-embedding-3-smallモデルと、より大きくより強力なtext-embedding-3-largeモデルです。 埋め込みとは、自然言語やコードなどのコンテンツ内の概念を表す一連の数字です。埋め込みにより、機械学習モデルやその他のアルゴリズムは、コンテンツ間の関係を理解し、クラスタリングや検索などのタスクを実行することが容易になります。
ChatGPTとアシスタントAPIの両方における知識検索や、多くの検索拡張生成（RAG）開発者ツールなどのアプリケーションを支えています。 https://scrapbox.io/files/663ef07aa18917001d785622.png
新しい小型テキスト埋め込みモデル
text-embedding-3-smallは、非常に効率的な新しい埋め込みモデルであり、2022年12月にリリースされた前身のtext-embedding-ada-002モデルに比べて大幅なアップグレードを提供します。 より強力なパフォーマンス
text-embedding-ada-002とtext-embedding-3-smallを比較すると、多言語検索で一般的に使用されるベンチマーク（MIRACL）の平均スコアは31.4%から44.0%に増加し、英語のタスクで一般的に使用されるベンチマーク（MTEB）の平均スコアは61.0%から62.3%に増加しています。 https://scrapbox.io/files/663f00701bba46001d0ab308.png
値下げ
text-embedding-3-smallは、前世代のtext-embedding-ada-002モデルよりも大幅に効率的です。そのため、text-embedding-3-smallの価格は、text-embedding-ada-002と比較して5分の1に値下げされ、1,000トークンあたりの価格は0.0001ドルから0.00002ドルになりました。
text-embedding-ada-002は廃止されませんので、新しいモデルをお勧めしますが、お客様は引き続き前世代のモデルを使用することができます。
新しい大型テキスト埋め込みモデル: text-embedding-3-large
text-embedding-3-largeは、次世代の大型埋め込みモデルであり、最大3072次元の埋め込みを作成します。
より強力なパフォーマンス
text-embedding-3-largeは、新しい最高性能モデルです。 text-embedding-ada-002とtext-embedding-3-largeを比較すると、MIRACLでは平均スコアが31.4%から54.9%に増加し、MTEBでは平均スコアが61.0%から64.6%に増加しています。
https://scrapbox.io/files/663f00701bba46001d0ab308.png
text-embedding-3-largeの価格は、0.00013ドル/1,000トークンになります。
埋め込みを短縮するためのネイティブサポート
より大きな埋め込みを使用する場合、例えば、検索のためにベクトルストアに保存する場合、一般的に、より小さな埋め込みを使用する場合よりもコストがかかり、計算、メモリ、ストレージを多く消費します。
2つの新しい埋め込みモデルはどちらも、開発者が埋め込みを使用する際のパフォーマンスとコストをトレードオフできるようにする手法でトレーニングされています。
具体的には、開発者は、dimensions APIパラメータを渡すことで、埋め込みがその概念を表すプロパティを失うことなく、埋め込みを短縮する（つまり、シーケンスの末尾からいくつかの数字を削除する）ことができます。例えば、MTEBベンチマークでは、text-embedding-3-large埋め込みは、サイズが1536の短縮されていないtext-embedding-ada-002埋め込みよりも優れたパフォーマンスを維持しながら、サイズを256に短縮することができます。
これにより、非常に柔軟な使用が可能になります。例えば、最大1024次元の埋め込みしかサポートしていないベクトルデータストアを使用する場合、開発者は、最高の埋め込みモデルであるtext-embedding-3-largeを引き続き使用し、dimensions APIパラメータに1024の値を指定することができます。これにより、埋め込みが3072次元から短縮され、ベクトルサイズを小さくするために精度を多少犠牲にすることになります。
こんな使い方ができるのか...！